Phạm Đại Dương từng trải qua các chức vụ Trưởng phòng Hợp tác quốc tế và xúc tiến đầu tư khu công nghệ cao Hòa Lạc, Phó trưởng Ban Quản lý khu công nghệ cao Hòa Lạc, và Trưởng Ban Quản lý khu công nghệ cao Hòa Lạc.[4]

Ngày 5 tháng 10 năm 2015, Phạm Đại Dương, Trưởng ban Quản lý Khu Công nghệ cao Hòa Lạc, được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm làm Thứ trưởng Bộ Khoa học và Công nghệ Việt Nam theo Quyết định 1709/QĐ-TTg.[5] Ông kiêm Trưởng ban Quản lý Khu Công nghệ cao Hòa Lạc, Ủy viên Ban Thường vụ Đảng ủy Đảng Cộng sản Việt Nam Bộ Khoa học và Công nghệ.[3]

Ngày 1 tháng 8 năm 2018, Phạm Đại Dương, Thứ trưởng Bộ Khoa học và Công nghệ, được Ban Bí thư Trung ương Đảng Cộng sản Việt Nam khóa 12 luân chuyển, chỉ định giữ chức vụ Phó Bí thư Tỉnh ủy Phú Yên nhiệm kì 2015-2020, và được giới thiệu ứng cử vào chức vụ Chủ tịch Ủy ban nhân dân tỉnh Phú Yên.[2][6]

Ngày 8 tháng 8 năm 2018, tại phiên họp bất thường của Hội đồng nhân dân tỉnh Phú Yên, Phạm Đại Dương được toàn bộ 47 đại biểu Hội đồng nhân dân tỉnh Phú Yên bầu giữ chức Chủ tịch Ủy ban nhân dân tỉnh Phú Yên thay cho ông Hoàng Văn Trà luân chuyển công tác làm ở Ủy ban Kiểm tra Trung ương Đảng Cộng sản Việt Nam.[6][7]

Từ ngày 06 tháng 8 đến ngày 28 tháng 10 năm 2019, ông tham gia Lớp bồi dưỡng kiến thức mới cho cán bộ quy hoạch cấp chiến lược khóa XIII của Đảng tại Học viện Chính trị quốc gia Hồ Chí Minh.

Ngày 19 tháng 8 năm 2020, Ban Chấp hành Đảng bộ tỉnh Phú Yên bầu ông Phạm Đại Dương, Chủ tịch UBND tỉnh Phú Yên, làm Bí thư Tỉnh ủy.[8]

Ngày 29 tháng 8 năm 2020, tại thành phố Tuy Hòa, Ban Thường vụ Tỉnh ủy Phú Yên tổ chức Hội nghị công bố quyết định của Bộ Chính trị về công tác cán bộ. Tại Hội nghị, đồng chí Hà Ban, Ủy viên Trung ương Đảng, Phó Trưởng ban Ban Tổ chức Trung ương đã công bố quyết định của Bộ Chính trị chuẩn y đồng chí Phạm Đại Dương, Phó Bí thư Tỉnh ủy, Chủ tịch Ủy ban nhân dân tỉnh Phú Yên giữ chức Bí thư Tỉnh ủy Phú Yên nhiệm kỳ 2015-2020.[9]

Ngày 30 tháng 01 năm 2021, Tại Đại hội đại biểu toàn quốc lần thứ XIII của Đảng, đồng chí được bầu là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XIII, nhiệm kỳ 2021-2026.